Agent Explorative Policy Optimization for Multimodal Agentic Reasoning
AXPO：通过思考-行动间隙探索优化多模态 Agent 推理
🧭 Agent 探索策略优化 · 工具使用 RL ★ 深度解读
NVIDIA · KAIST
针对多模态 Agent 中工具调用利用不足与失败率高的问题，提出工具调用重采样以提升强化学习训练信号
📌 工作参考价值（4 点）
- 工具调用探索优化：当业务中 Agent 面临工具使用频率低、调用时全体失败的情况，可借鉴 tool-call resampling：固定思考前缀，在工具调用位置重采样，集中探索于动作本身，低成本恢复正样本，避免全量重采样的浪费。
- 不确定性驱动的重采样选择：对触发重采样的前缀按工具调用 token 的平均概率排序，只重采样最低置信度的前缀，节省额外预算。该 trick 可用于电商 Agent 中对外部工具（搜索、计算、图像分析）的 RL 训练，优先在最不确定的调用点加固信号。
- 分区分组优势计算：将重采样产生的 continuation 构成独立优势组，并用二进制恢复奖励更新源前缀，避免同一前缀在成功和失败轨迹中的梯度冲突。在推荐场景中，若 Agent 通过工具获取实时特征，可用类似方式解耦“意图”与“动作执行”的优化。
- 计算预算分配：仅用 +25% 的重采样预算，便超越直接加倍 rollout 的 GRPO，表明算力应投向最易失效的决策点。对于成本敏感的业务系统，可优先在工具调用处做局部探索而非全局扩增采样。